Đầu thế kỷ XIX, cả vùng Kim Sơn ngày nay vẫn còn là vùng đất bồi với bùn lầy, cỏ sậy. Năm 1828, ông Nguyễn Công Trứ được triều đình Huế phái ra Bắc để khai phá những vùng đất mới và đã lập ra huyện Tiền Hải (tỉnh Thái Bình) và huyện Kim Sơn (tỉnh Ninh Bình). Tên gọi Phát Diệm xuất hiện vào năm Minh Mạng thứ 10 (1829), khi huyện Kim Sơn được thành lập.

Có thể nói công cuộc truyền giáo tại Đàng Ngoài chỉ thực sự bắt đầu từ khi cha Alexandre de Rhodes và cha Marquez cập bến Cửa Bạng (nay thuộc Ba Làng, Thanh Hóa) vào ngày lễ thánh Giuse (19 tháng 3 năm 1627). Trong khi chờ đợi ra kinh đô Thăng Long (nay là Hà Nội), các ngài đã giảng đạo tại Van-no, vốn từng được một số người cho là gần cửa Thần Phù, ngày nay là xứ Hảo Nho, thuộc giáo phận Phát Diệm.

Năm 1659, Tòa Thánh thành lập hai Vùng Đại Diện Tông Tòa (từ đây xin gọi tắt là giáo phận) Đàng Ngoài và Đàng Trong, với hai vị Đại Diện Tông Toà tiên khởi là François Pallu và Lambert de la Motte, cũng là hai vị sáng lập Hội Thừa Sai Paris. Tuy nhiên, mãi đến năm 1666, các cha đầu tiên thuộc Hội Thừa sai Paris mới đặt chân lên Đàng Ngoài và bắt đầu thực sự tham gia công việc rao giảng Tin Mừng tại vùng đất này.

Năm 1679, giáo phận Đàng Ngoài được phân đôi thành Đông và Tây Đàng Ngoài. Vùng đất giáo phận Phát Diệm ngày nay thuộc Tây Đàng Ngoài do Đức Cha Jacques de Bourges coi sóc. Năm 1712, vùng đất ngày nay là Phát Diệm đã có 34 nhà thờ và nhà nguyện với 4.540 tín hữu.

Ngày 27 tháng 3 năm 1846, giáo phận Tây Đàng Ngoài lại được chia thành Tây và Nam Đàng Ngoài. Phát Diệm thuộc về Tây Đàng Ngoài do Đức Cha Retord Liêu coi sóc với 4 giáo xứ: Phúc Nhạc có 10.600 tín hữu, Yên Vân 1.598, Bạch Bát 3.482, Đồng Chưa 4.000.

Năm 1895, giáo phận Tây Đàng Ngoài lại được phân chia lần nữa thành Tây Đàng Ngoài và Thượng Đàng Ngoài, quen gọi là giáo phận Đoài. Phần đất giáo phận Phát Diệm thuộc giáo phận Tây Đàng Ngoài do Đức cha Gendreau Đông coi sóc.

Giáo phận Phát Diệm chính thức được thành lập ngày 19 tháng 4 năm 1901 khi Giáo hoàng Lêô XIII chia Tây Đàng Ngoài thành hai: Tây Đàng Ngoài (Hà Nội bây giờ) và giáo phận mang tên mới là Duyên Hải Đàng Ngoài, còn được gọi là giáo phận Thanh, gồm tỉnh Ninh Bình, Thanh Hóa và Châu Lào. Ngày 3 tháng 12 năm 1924, giáo phận Thanh được đổi thành giáo phận tông tòa Phát Diệm.

Năm 1932, giáo phận Phát Diệm được chia đôi để thành lập giáo phận mới mang tên giáo phận Thanh Hóa.

Ngày 11 tháng 6 năm 1933, Giáo hoàng Piô XI đặt Đức Cha Gioan Baotixita Nguyễn Bá Tòng, giám mục người Việt Nam tiên khởi, làm giám mục phó giáo phận Phát Diệm.

Ngày 24 tháng 11 năm 1960, với sắc chỉ Venerabilium Nostrorum, Tòa Thánh thành lập hàng giáo phẩm Việt Nam và nâng các giáo phận tông tòa ở Việt Nam lên hàng chính tòa. Đức Cha Phaolô Bùi Chu Tạo là giám mục chính tòa đầu tiên của giáo phận Phát Diệm.